Lê Duy Lương là con thứ hai của Lê Duy Hoán, cháu vua Lê Hiển Tông. Giữa năm 1802, để mua chuộc con cháu nhà Lê, vua Gia Long phong ông làm Diên Tự công. Tháng 5 năm Đinh Sửu (1817)[1], ông Hoán và Nguyễn Văn Thuyên (con Tiền quân Nguyễn Văn Thành) đều bị xử chém giết về tội mưu phản[2].

Khi ấy, Lê Duy Lương mới lên 3 tuổi[3], được các thủ hạ cất giấu rồi được anh em họ Quách (Quách Tất Công, Quách Tất Tại, Quách Tất Tế,...) ở Sơn Âm[4] nuôi nấng. Vừa lớn lên, Lê Duy Lương cùng anh em họ Quách kéo nhau vào ở Thạch Bi (nay thuộc tỉnh Hòa Bình) âm thầm khai khẩn ruộng, rèn vũ khí, vận động binh lính và nhân dân, chuẩn bị làm cuộc nổi dậy đánh đổ nhà Nguyễn, lập lại nhà Lê.